一次性字幕，按需取帧：预算感知的智能体长视频理解视觉需求路由
🧭 预算感知的长视频理解 Agent 路由
Queen Mary University of London · Independent Researcher · Durham University · Imperial College London · Huawei
提出边云协同的 CFD 框架，用双轨叙事索引和视觉需求路由器按需取帧，显著降低长视频在线视觉处理成本
📌 工作参考价值（4 点）
- 借鉴双轨索引思想：在电商直播/商品视频理解中，离线生成事件级叙事骨架 + 片段级细节日志，将长视频转化为可复用索引，后续 query 只查索引不重跑 captioning，降低线上 token 与耗时。
- 将 Visual-Need Router 改造成多模态 RAG/Agent 中的“证据门槛”：根据 query 是否涉及外观、OCR、属性判别，决定是否检索原图/帧；时序、流程类问题直接走文本 memory，从而控制每 query 的多模态检索成本。
- 边云预算分离：让边缘端承担一次性离线 captioning 与索引缓存，云端按 query 拉取有界关键帧，适合直播回放、素材审核、商品视频 QA 等预算敏感场景，避免逐 query 全量视频重灌模型。
- “按 query 封顶视觉证据数，与内容长度无关”可以迁移到搜索推荐 Agent 的工具调用：为商品主图、评论、卖点等证据源设置 budget，只有 router 认为必要时才触发额外检索，防止长文档/长视频 query 的成本爆炸。
ReToken：用一个Token提升视觉语言模型的长视觉检索
🧭 多模态视觉检索 · 稀疏Token选择
University of Illinois at Urbana-Champaign · Microsoft Research · Google DeepMind
用单个可学习Token从视觉KV缓存中检索稀疏相关token，大幅提升长视觉上下文中的问答准确率
📌 工作参考价值（4 点）
- 电商场景中处理商品多图或视频描述时，可利用可学习检索Token从大量视觉特征中快速定位与用户查询相关的帧/区域，提升问答或推荐理由生成的质量。
- 利用预填充的KV缓存和稀疏选择机制，避免每次查询都重新处理所有视觉token，大幅降低多模态推荐的推理延迟和显存占用，适合线上服务。
- 轻量级设计（单个token，单卡训练）表明，小型Query-Image数据集即可训练出有效的检索能力，可迁移到商品视觉问答或视觉搜索中。
- 该方法本质是条件特征选择，可扩展到用户行为序列（如视频浏览记录）中，用学习到的Token从长序列中检索相关历史行为，增强推荐模型而无需输入完整序列。
将视频搜索为树：自校正智能体实现长视频锚定问答
🧭 自我纠正树搜索智能体实现精准长视频QA
University of North Carolina at Chapel Hill · Sony
构建非均匀时间树并训练智能体通过显式回溯操作实现自纠正搜索，显著提升长视频问答与定位性能
📌 工作参考价值（4 点）
- 长序列定位回溯机制可迁移：电商场景中用户行为序列、商品介绍视频等长序列理解任务，可借鉴树形结构+显式回溯操作，使模型能从错误聚焦中恢复，精准定位关键片段（如商品使用痛点瞬间）。
- 层次化搜索架构：将长内容按语义边界预构建非均匀树，再训练智能体导航，可用于构建“商品视频智能导购”——用户提问时系统自动深入相关片段，并能回溯避免过早锁定错误区间。
- 合成纠错轨迹训练范式：通过故意构造走入错误分支再纠正的轨迹进行SFT+RL，可提升推荐Agent在复杂交互中的鲁棒性，使模型学会自我纠错，尤其适用于多轮对话式推荐。
- 离散操作空间设计：定义有限的原子操作（zoom_in/out/shift/answer），使策略学习更可控，可借鉴到面向搜索/推荐的Agent动作集设计，让模型在复杂检索环境中进行结构化探索。
Kwai Keye-VL-2.0 技术报告：面向长视频与智能体的多模态基础模型
🧭 多模态大模型 · 长视频理解与智能体 ★ 深度解读
Kuaishou Group
首个在GQA架构上实现DeepSeek稀疏注意力以无损处理256K上下文，并通过跨模态多教师在线蒸馏解决多任务遗忘的多模态模型
📌 工作参考价值（4 点）
- 稀疏注意力用于长序列推荐：DSA 通过 MQA 式索引 + GQA 分组聚合将注意力复杂度从 O(L²) 降至 O(Lk)，这个思路可以直接迁移到用户行为序列建模（如百万级行为 token 的推荐模型），在减少 KV cache 的同时保持关键信息捕获。
- 多教师在线蒸馏解决多任务冲突：MOPD 动态路由 13 个领域专家、按 token 类别缩放优势值的方法，可借鉴到多目标推荐模型训练，避免不同业务目标（点击率、转化率、时长）之间的梯度干扰。
- 视频时序定位能力复用：论文中构建的 TVG、帧级感知、场景密集描述等数据与训练流水线，可迁移到电商直播场景——精确截取商品讲解片段、自动生成直播看点，提升内容分发效率。
- 合成数据 RL 的设计范式：基于可控编辑图像对+规则可验证 reward 的 RL 方法，可用于商品图片差异检测、属性变更验证等场景，低成本获得精准监督信号。
MemDreamer: 分层图记忆与代理检索解耦感知推理的长视频理解框架
🧭 长视频理解 · 分层图记忆 · 代理检索
Ant Group · Zhejiang University · Central South University · HKUST(GZ)
通过分层图记忆和代理工具检索将长视频理解转化为探索过程，仅用2%上下文窗口即实现SOTA
📌 工作参考价值（4 点）
- 层次化图记忆可借鉴到用户行为序列或商品图谱建模：将用户交互构造成多粒度语义图（session→item→attribute），捕捉时序与因果关系，用于召回或推理。
- 代理式检索（Observation-Reason-Action循环）可应用于对话式推荐：工具增强的代理动态查询知识库，缩小上下文窗口，提升长对话或复杂推荐场景下的推理准确性和效率。
- 解耦感知与推理：将特征编码（感知）与排序策略（推理）分离，允许流式增量更新用户记忆，缓解长序列带来的注意力稀释，适合实时推荐场景。
- 稀疏图记忆检索大幅降低计算开销：推理时仅检索关键子图而非全量输入，可在推荐模型推理阶段采用类似检索增强方法，用极低 token 成本维持高性能。